MICE 与你相见：从仅重排到端到端检索
🧭 神经检索 · 端到端 Late-interaction
Sorbonne Université · CNRS · ISIR · Sinequa by ChapsVision · Univ. Toulouse
首个基于 MICE 的端到端检索管线 MICE-P，用 PLAID 索引文档 token 表示，在保持 cross-encoder 效果的同时达到 late-interaction 吞吐量
📌 工作参考价值（4 点）
- 在商品/广告搜索中，可参照 MICE-P 将昂贵的 cross-encoder 级重排模型改造为端到端召回：离线预计算文档/商品侧上下文 token 表示并用 PLAID 类索引存储，线上仅做轻量 token 交互，保持效果同时大幅降低计算开销。
- 借鉴 Ettin Family 的公平对比框架：在自己的模型评测中，确保不同架构训练数据、优化器、步数等保持一致，避免因训练配置差异导致结论不可靠。
- 若已有重排模型表现优异但推理慢，可探索为其增加文档侧预计算与索引模块，转化为召回或第一阶段检索，减少多级 pipeline 的延迟。
- MICE-P 证明存在一种新的效率-效果权衡区间：在部分场景下，不必牺牲 cross-encoder 精度即可获得接近 late-interaction 的吞吐，适用于对精度敏感且有一定计算预算的电商搜索/推荐入口。
重排序与晚期交互驱动检索质量：科学问答 RAG 策略受控对比
🧭 RAG 检索策略对比评测 ★ 深度解读
San Jose State University, Department of Computer Science
在46万篇arXiv语料上系统对比6种RAG检索管线，ColBERT晚期交互与改写加重排效果最好，融合与Agent检索反不及基线
📌 工作参考价值（4 点）
- 电商商品搜索/内容推荐的知识增强检索中，若当前向量召回是单向量池化，可优先评估 ColBERT/PLAID 这类 late-interaction 索引：同语料下 Hit@3 从 47–53% 翻倍到 93–95%，对最终生成质量有直接提升；代价是建索引与检索成本更高，适合高价值 query 或小规模候选集召回。
- LLM 查询改写不能单独上：改写可能让 query 漂移，尤其意图型 query 的 Hit@3 反下降（39.7% vs 46.3%）。实践中若上改写，必须接一个 reranker（listwise LLM rerank 或 cross-encoder），让改写+重排作为整体管线，否则不如直接 raw query 检索。
- 多查询融合 RRF 和 Agentic tool-call 在这些实验里没有带来增益，反而显著低于经典基线；业务引入 agent 自主决定是否检索时需要明确回答率与成本约束，不能因为“更智能”就默认更好。
- 评测设计可复用：固定 generator、prompt、文档池，用配对查询差异（paired delta + 95% CI）而非只看均值；LLM-as-a-judge 用不同模型家族以避免 self-preference；同时报告 answer rate 和 conditional score，避免拒答/零分扭曲结论，并报告 Hit@1/Hit@3/MRR@3 与生成质量的相关性。
冻结 LLM 内部的技能路由器：用两个线性投影读出原生路由信号
🧭 Agent 技能路由 · LLM 原生信号读取 ★ 深度解读
Institute for Interdisciplinary Information Sciences, Tsinghua University
冻结 LLM 自身前向传播中已含技能路由信号，两个线性投影即可读出，无需外部模型或技能文本入上下文
📌 工作参考价值（4 点）
- 用 frozen LLM 自身中间层做相关性/召回评分，可避开独立 embedder/reranker 的 OOD 偏移；在电商 query 改写、商品/内容召回中，可训练两个轻量线性层从骨干 LLM 读 query 与 item 的匹配信号，尤其适合长上下文里埋没的需求。
- token-level late-interaction + top-k voting + recency decay 可迁移到个性化检索：不做全局池化，让关键 token 投票，对长会话轨迹用指数衰减增强最近消息权重。
- ε-cover 压缩 token bank 对海量 item/skill 索引有实用价值：farthest-first 覆盖去冗余，分数误差有界，可显著减小索引规模，新对象只需一次前向编码。
- 多信号 product of experts 融合（对比学习分数 + 生成似然 + yes/no 判别）可借鉴到排序融合，任一专家可一票否决，提升排序鲁棒性；再训练轻量门控决定何时触发路由，降低误触发。
生成式晚交互嵌入用于视觉文档检索
🧭 多向量检索压缩与生成式重建
King Abdullah University of Science and Technology (KAUST) · Edge Hill University
GLIE 用 k≪N 个向量存储并生成式重建完整 late-interaction 向量集，在 4 向量/页保留近 80% nDCG@5
📌 工作参考价值（4 点）
- 电商/广告的多向量 late-interaction 索引（如商品图文与 OCR 特征）不要只用随机采样或平均压缩；可以学习极小 decoder，从少量基向量重建完整向量集，用于召回后精确重排。存储预算可从每商品数千向量降到 4-16 个，仍保留大部分排序精度。
- 若向量已 L2 归一化，做 k-means/PQ/IVF 聚类时务必把质心重新归一化到球面；本文显示这项免费操作对 MaxSim 有最高 +0.093 nDCG@5 的收益，电商向量通常也做归一化，可直接迁移。
- 训练预算非常小：1,000 页 / 415K 参数 / 3 GPU-minutes 即可得到可用的生成式 read-out；在做 embedding index 压缩时，可以先尝试轻量 decoder，而不是直接微调 large encoder，尤其适合快速适配新类目/新域。
- 对 Agent/RAG 场景，可借鉴非对称检索流程：粗糙 k 向量索引 -> 生成式重建 top candidates -> 精确 MaxSim，降低长文档/商品详情页检索的 memory 和 latency。
EigenLI：用谱近似压缩晚交互检索
🧭 多向量检索压缩 · 谱方法 ★ 深度解读
Temple University · Microsoft Research India
利用文档 token 的低秩结构，以 top-k 特征子空间替代聚类压缩多向量表示，并可转成单向量 ANN 召回
📌 工作参考价值（4 点）
- 多向量召回（商品/内容/广告）可把每个文档 token 序列压缩为文档特定的 top-k 特征子空间，训练无关；相比 k-means/Ward pooling，构造更快（约 6.8x/17.5x），且在 ColBERTv2、AnswerAI 等模型上 nDCG@10 相对提升 8%–15%。
- EigenLI 评分可精确转成单向量点积：对 query token 做二次核 K(qi)，对文档 top-k 特征向量做 K(wj)，得到 d(d+1)/2 维向量，直接接入现有 ANN 系统；在 d=128 时维度 8256，比 MUVERA 10240 维更低，但 BEIR 上 nDCG@10 相对 MUVERA 提升 78.9%（AM）。
- 评分时不要用特征值加权，只用 top-k 特征向量；用 λ_j 加权会退化为所有 query-doc token 相似度求和，偏离 MaxSim，效果明显变差。
- 模型几何差异要作为模型选型依据：强各向异性模型如 GTE-ModernColBERT 上 EigenLI-32 不如 Ward pooling，可对 embedding 做去均值 centering 后再压缩，或对这类模型保留聚类方案。
ViSAR：面向视觉文档问答的无训练自适应-k检索
🧭 视觉文档RAG·自适应k检索
INSA Lyon, CNRS, LIRIS UMR 5205 · EPITA Research Laboratory (LRE) · Lowit
在嵌入空间构造查询条件页面级相似度矩阵，动态决定检索页数，降低RAG延迟并保持或提升准确率
📌 工作参考价值（4 点）
- 可借鉴动态 top-k 思想：在电商/广告场景中，为商品详情页、广告落地页或用户评价做 RAG 时，不再固定召回条数，而是根据查询复杂度动态截断，能显著减少输入 LVLM 的 token 数和首字延迟。
- 利用 late-interaction 编码器产生的 page-level 相似度矩阵作为查询语义激活图：该方法无需训练，直接基于 embedding 空间的 MaxSim 等运算，可在现有向量检索链路上快速实现，适合业务侧低成本验证。
- 将相似度矩阵的统计结构（如激活分布、峰值集中度）作为检索质量信号，用于重排或决定是否触发多跳检索/补充上下文，类似于推荐中 uncertainty-aware 的截断策略。
- 论文结果显示自适应检索在多个编码器与 LVLM 组合下最高降低 58.7% 延迟且准确率不降，证明“检索质量感知的上下文裁剪”在视觉富文档问答中有效，对多模态商品理解、店铺资质审核等 RAG 任务有直接迁移价值。
NeoMME：单塔多模态多语言基础编码器，用于高效微调与推理
🧭 多模态原生单塔编码器与视觉文档检索
H Company
提出单塔多模态多语言编码器，用掩码离散扩散预训练，视觉文档检索精度高且吞吐翻倍
📌 工作参考价值（4 点）
- 在电商商品图文检索/视觉搜索中，可以尝试用单塔多模态编码器（图像 patchify + 2层MLP 与文本 token 一起输入 bidirectional Transformer）替代双塔或 VLM 编码器，降低推理延迟和参数规模；NeoMME-260M 在同尺寸下吞吐约为 ColModernVBERT 2x，适合对实时性有要求的召回/粗排。
- 联合训练 dense 和 late-interaction heads，并在索引侧使用层级 token pooling + 非对称量化，可将多模态文档 embedding 压缩 255x 且保留 >95% nDCG@10；该思路可直接迁移到海量商品/广告素材库的向量存储成本优化。
- 多语言原生训练 + 16K 上下文，适合跨境业务中多语言商品标题/详情页与查询的匹配，无需为每种语言单独建塔；也支持编码两张 4K 图，能处理长图文详情页。
- 如果业务已用 ColPali/Qwen-VL 做视觉文档 RAG，可评估用该开源编码器作为更轻量的检索底座，减少 VLM 在非生成式检索任务上的额外开销。
Case2Flow：面向患者病例的指南流程图多模态检索
🧭 多模态检索 · 医疗流程图
Karlsruhe Institute of Technology · Helmholtz Information and Data Science School for Health (HIDSS4Health) · University Hospital Essen
提出训练-free 的 CRISP 评分，抑制无用 patch 并加入双向对齐，显著提升病例到流程图检索
📌 工作参考价值（4 点）
- CRISP 的 patch 抑制与歧义 token 折扣可直接迁移到商品主图/广告创意的多模态检索：背景杂乱、促销文案 token 常引入伪匹配，在 late-interaction 阶段做后处理即可提升 Recall，无需重训模型。
- 双向 query-image 对齐思路适用于“用户 query ↔ 创意/商品图”互搜场景，能降低单向相似度误报，可作为排序重打分模块加入现有召回链路。
- FlowAtlas 的合成对齐数据管线（从结构化文档/决策树生成 case-flowchart 对）可借鉴用于生成电商 SOP/政策文档与商品或广告场景的匹配对，低成本构造多模态检索训练/评测数据。
- 失败模式分析（关键词过度依赖、背景 patch 匹配）值得在电商图文检索评估中复现，帮助定位精排模型偏置。
现代RAG管道评估：文本、多模态、稠密与晚交互
🧭 RAG 管道选型与多模态权衡
Özyeğin University, Istanbul, Türkiye
提出数据驱动的RAG管道选择方法，在检索效果与资源约束间权衡
📌 工作参考价值（4 点）
- 电商详情页、广告落地页含大量布局、表格、图片，纯 OCR 文本管道会丢失结构语义；可在 RAG 检索阶段引入 VLM 多模态编码，但需按类目或高价值 query 试点，用延迟与召回指标对比。
- late interaction（如 ColBERT）是稠密检索与多模态之间的实用折中：保留 token 级交互提升细粒度匹配，同时避免每次查询调用 VLM 的高开销，适合低延迟搜索推荐场景。
- 建立管道选型决策表：依据文档类型（文本为主 vs 富媒体）、query 类型、资源预算，用离线 nDCG/recall@k 与在线 p50/p99 延迟、GPU 成本联合选择，避免一刀切。
- 对表格规格、价格/评分等结构化信息，优先用 layout-aware 文本解析或混合表示，减少 VLM 调用次数；可先文本召回再用视觉重排，在成本可控下提升准确率。
VisDocAgentBench：面向视觉富文档检索的智能体基准评测
🧭 多模态文档检索智能体评测 ★ 深度解读
Peking University · Alibaba Group
提出视觉富文档检索基准，暴露强静态检索在桥接证据上近乎失效，而工具智能体可恢复但依赖规划器与视觉表示
📌 工作参考价值（4 点）
- 电商/广告搜索中，商品详情页、广告落地页、海报等视觉富文档不能只用 OCR 文本召回；强视觉 late-interaction 检索（如 Nemotron ColEmbed）对直接匹配收益巨大，但面对需要上下文消歧的查询会失效。建议将强视觉检索作为 discovery，叠加 Agent 的迭代检查与证据重排序。
- 同一 index/tool 接口下不同 planner 的 R@1 从 19.17% 到 67.50%，说明单纯接入工具不等于有效检索；应重点优化 planner 的搜索改写、检查策略和最终排序，并利用 trace 诊断失败在 discovery、examination 还是 ranking。
- 页面/图片 inspection 是最大增益点（去掉后 R@1 掉 15.8/21.7 点），因此多模态 Agent 必须保留原始视觉图，不能只用 OCR 文本或 caption；on-demand OCR/crop 可做局部验证，但要平衡全局探索，否则长链路性能会反弹。
- 对需要多跳证据的查询，给 Agent 提供完整 support context 能显著提升 R@10；业务可实现为初期附加候选 support pages 或引入 evidence-role aware 状态，避免模型被表面相似项锚定。
Stellar：面向自然语言查询的可扩展多模态文档检索
🧭 多模态检索 · 高效延迟交互
通过词法过滤与磁盘驻留延迟交互，将多模态检索的内存和延迟降低1-2个数量级且效果不降。
📌 工作参考价值（4 点）
- 词法表示过滤（LRF）：微调多模态大模型作为稀疏编码器生成高质量词法表示，可用于商品搜索的第一阶段候选过滤，大幅减少需深度计算的候选集。
- 磁盘支持的延迟交互（DLI）：将商品/文档的多向量 token 级 embedding 存于磁盘，按需动态加载，可有效降低内存占用，适合百亿级商品索引。
- 平衡聚类的存储布局：根据负载模式设计磁盘存储结构，可借鉴到推荐模型的大规模稀疏特征存储，减少随机 I/O。
- 成本模型驱动加载：通过简单代价模型选择必要的 token embedding 参与最终评分，在实时推荐中可用于选择性计算用户与物品的细粒度交互特征。
告别K-means：单阶段稀疏编码实现高效多向量检索
🧭 多向量稀疏检索 · 倒排索引加速 ★ 深度解读
Stony Brook University · Xidian University · Amazon AGI SF Lab · Georgia Tech · Yale University
提出SSR框架，用Sparse Autoencoder将token嵌入稀疏化，直接构建倒排索引，实现精度、速度和索引速度三赢。
📌 工作参考价值（4 点）
- 电商搜索/推荐召回中，可用稀疏编码替代K-means聚类构建索引，大幅降低离线索引时间（15倍加速），适合实时更新频繁的语料。
- 训练时联合重构损失与对比损失的混合目标，可保证稀疏特征既保留语义又具备判别力，可借鉴到query-doc/query-item匹配的稀疏表示学习。
- 倒排索引上利用块级上限跳过与粗到精剪枝（SSR++），在保证精度无损前提下将延迟减半，对高流量在线检索场景有直接工程价值。
- 该方法可扩展到LLM backbone，结合现代大模型生成式推荐或Agent的记忆检索，用稀疏token交互实现高效知识召回。
谱检索：基于 token 嵌入多尺度 sinc 卷积的局部化重排序
🧭 多尺度重排序 · 局部化检索 ★ 深度解读
Cisco Systems, Inc.
在 token 嵌入上施加多尺度 sinc 卷积，以 max-over-scales 聚合实现逐 token 至均值池的平滑插值，显著提升窄片段相关性召回
📌 工作参考价值（4 点）
- 无训练即插即用的重排序器：直接复用现有双塔模型的 token 级嵌入，只需在候选文档（K=100 左右）上做多尺度卷积+max聚合，代码量极小，不改变索引和召回阶段，适合快速上线。
- 多智能体角色感知检索：每个 agent 用同一 query encoder 但不同 prompt，谱检索可让同一份文档对不同 agent 产生差异化的高得分（安全 agent 看到漏洞段落，运营 agent 看到维护记录），丰富辩论输入，避免所有 agent 拿到相同 top-k。
- 与 ColBERT 正交互补：谱检索相当于单 query 向量版的 ColBERT，二者可堆叠；若已有 ColBERT 索引，可直接加多尺度卷积提升长文档中的局部匹配，成本仅增加 O(K·S·N·d)。
- 尺度网格选择简单：默认 {1,3,5,7,10,15,20,30} 覆盖窄到宽的相关性宽度，无需调参；对于电商中商品描述（短文本）可缩为 {1,3,5}，对于长法律/政策文档可增加 L=100 端点，计算开销线性增长。